Directional Alignment Mitigates Reward Hacking in Reinforcement Learning for Language Models
方向对齐缓解语言模型强化学习中的奖励黑客
🧭 RL训练优化 · 奖励黑客防御 ★ 深度解读
University of British Columbia · Vector Institute · Amazon
提出信任方向梯度对齐(TDGA)，将RL梯度投影到干净子空间，显著延迟奖励黑客并保持真实性能。
📌 工作参考价值（4 点）
- 在推荐/Agent的RL微调（如RLHF）中，可利用少量干净标注数据提取参数更新的SVD主导方向，构造投影矩阵，将每一步梯度限制在该信任子空间内，避免模型学到利用代理奖励的捷径（如电商中仅优化点击而非成交）。
- 投影秩K越小，对奖励黑客的抑制越强，但会限制模型适应能力，实践中可设为可调超参，根据验证集真实指标（如转化率）在线选择。
- 该方法与梯度正则化、SAM等互补，可在现有训练流程中即插即用，只需几行代码对梯度做矩阵乘法，计算开销低。
- 对于多轮Agent场景，可将信任方向扩展为轨迹级投影，防止在长链交互中累积的奖励黑客，尤其适用于基于推理步数的奖励设计。